Hoàng Xuân Hãn là cháu nội Hoàng Xuân Phong, là một vị quan cuối đời Tự Đức, từng làm án sát tỉnh Lạng Sơn. Lúc Lạng Sơn thất thủ trước quân Pháp, triều đình triệu ông về làm Tuần Phủ Hà Tĩnh để chiêu dụ lòng dân, nhưng ông bị bệnh không chịu uống thuốc, chịu chết để tròn danh tiết. Cha ông là Tú tài Hoàng Xuân Ức, mẹ là bà Lê Thị Âu. Các anh em là Hoàng Xuân Vân, Hoàng Xuân Hồng, Hoàng Thị Hảo, Hoàng Xuân Mẫn, Dược sĩ Hoàng Xuân Hà (Giám đốc Xưởng Quân dược Liên khu III, Vụ trưởng Vụ Dược chính, Phó Chủ tịch Hội Dược học),bà Hoàng Thị Cúc, ông Hoàng Xuân Bình[2] (cận vệ của vua Bảo Đại). Hoàng Xuân Nhị cháu họ ông Hãn là một nhà giáo, dịch giả, nhà văn hóa của Việt Nam.